Learned Bloom Filters, i.e., models induced from data via machine learning techniques and solving the approximate set membership problem, have recently been introduced with the aim of enhancing the performance of standard Bloom Filters, with special focus on space occupancy. Unlike in the classical case, the "complexity" of the data used to build the filter might heavily impact on its performance. Therefore, here we propose the first in-depth analysis, to the best of our knowledge, for the performance assessment of a given Learned Bloom Filter, in conjunction with a given classifier, on a dataset of a given classification complexity. Indeed, we propose a novel methodology, supported by software, for designing, analyzing and implementing Learned Bloom Filters in function of specific constraints on their multi-criteria nature (that is, constraints involving space efficiency, false positive rate, and reject time). Our experiments show that the proposed methodology and the supporting software are valid and useful: we find out that only two classifiers have desirable properties in relation to problems with different data complexity, and, interestingly, none of them has been considered so far in the literature. We also experimentally show that the Sandwiched variant of Learned Bloom filters is the most robust to data complexity and classifier performance variability, as well as those usually having smaller reject times. The software can be readily used to test new Learned Bloom Filter proposals, which can be compared with the best ones identified here.
translated by 谷歌翻译
搜索排序的数据({\ BF SOSD},简而言之)是一种高度工程化的软件平台,用于基准获得学习索引,后者是通过将机器学习技术与经典组合在一起的方式搜索分类表的新颖且相当有效的提议算法。在这样的平台和相关的基准测试实验中,在自然和直观的选择之后,通过标准(教科书)二进制搜索过程执行最终搜索阶段。然而,最近的研究,不使用机器学习预测,表明统一的二进制搜索,简化以避免主循环中的\ vir {分支},在要搜索的表格中的标准对应物时,性能优异地是相对较小的,例如,在L1或L2缓存中拟合。 k-ary搜索的类似结果即使在大桌子上也是如此。人们期望学习索引中的类似行为。通过一组广泛的实验,与现有技术相干,我们表明,对于学习的索引,并且就{\ bf sosd}软件而言,使用标准例程(二进制或k-ary搜索)在所有内部存储器级别上优​​于均匀的一个。这一事实提供了到目前为止所制作的自然选择的定量理由。我们的实验还表明,统一的二进制和k-ary搜索可能是有利的,以便在学习索引中节省空间,同时授予良好的性能。我们的研究结果是对这种新颖和快速增长的区域的方法有关,以及有兴趣在应用领域中使用学习索引的从业者,例如数据库和搜索引擎。
translated by 谷歌翻译
绽放过滤器是一个基本和普遍的数据结构。在学习数据结构的不断增长的区域内,已经考虑了几种学习版本的绽放过滤器,从经典过滤器产生了优势。它们中的每一个都使用分类器,这是数据结构的学习部分。虽然它在那些新的过滤器中具有核心作用,但其空间占用空间以及分类时间可能会影响学习过滤器的性能,无系统的研究,可以使用哪些特定分类器使用哪种情况。我们在此报告此区域的进度,提供了在五个经典分类范例中选择的分类器的初步指南。
translated by 谷歌翻译
机器学习技术,与数据结构合并,导致学习静态索引,创新和强大的工具,用于加速二进制搜索,使用其他空间相对于被搜索到的表。这种空间致力于ML模型。虽然在他们的阶段,但由于分类表搜索程序的普遍性,它们在方法上和实际上很重要。在现代应用中,模型空间是一个关键因素,实际上,关于该领域的一个重大开放问题是评估一个人在多大程度上享受学习索引的速度,同时使用常量或几乎恒定的空间模型。我们通过(a)在此处介绍两个新模型,即表示为{\ bf ko-bfs}和{\ bf sy-rmi}; (b)通过系统地探索现有模型的层次结构的时间空间权衡,即{\ bf sosd}中的{\ bf sosd}中的时间表。我们记录了一种新颖且复杂的时空折衷图片,这对用户来说非常丰富。我们通过实验表明{\ bf ko-bfs}可以加快恒定空间中的插值搜索和统一二进制搜索。对于其他版本的二进制搜索,我们的第二种模型以及双标准{\ BF PGM}索引可以实现速度,其模型空间比表所拍摄的0.05 \%$的型号。有竞争力在时间空间与现有建议的权衡方面。 {\ bf sy-rmi}和bi-criteria {\ bf pgm}在内部内存层次结构的各个级别中相互作用。最后,我们的调查结果对设计者感兴趣,因为它们强调了对学习指标中的时空关系的进一步研究的需要。
translated by 谷歌翻译
Despite the immense success of neural networks in modeling system dynamics from data, they often remain physics-agnostic black boxes. In the particular case of physical systems, they might consequently make physically inconsistent predictions, which makes them unreliable in practice. In this paper, we leverage the framework of Irreversible port-Hamiltonian Systems (IPHS), which can describe most multi-physics systems, and rely on Neural Ordinary Differential Equations (NODEs) to learn their parameters from data. Since IPHS models are consistent with the first and second principles of thermodynamics by design, so are the proposed Physically Consistent NODEs (PC-NODEs). Furthermore, the NODE training procedure allows us to seamlessly incorporate prior knowledge of the system properties in the learned dynamics. We demonstrate the effectiveness of the proposed method by learning the thermodynamics of a building from the real-world measurements and the dynamics of a simulated gas-piston system. Thanks to the modularity and flexibility of the IPHS framework, PC-NODEs can be extended to learn physically consistent models of multi-physics distributed systems.
translated by 谷歌翻译
腔内器官内部的导航是一项艰巨的任务,需要在操作员的手的运动与从内窥镜视频获得的信息之间进行非直觉的协调。开发自动化某些任务的工具可以减轻干预期间医生的身体和精神负担,从而使他们专注于诊断和决策任务。在本文中,我们提出了一种用于腔内导航的协同解决方案,该解决方案由3D打印的内窥镜软机器人组成,该机器人可以在腔内结构内安全移动。基于卷积神经网络(CNN)的Visual Servoing用于完成自主导航任务。 CNN经过幻象和体内数据训练以分割管腔,并提出了一种无模型的方法来控制受约束环境中的运动。在不同的路径配置中,在解剖幻像中验证了所提出的机器人。我们使用不同的指标分析机器人的运动,例如任务完成时间,平滑度,稳态中的误差以及均值和最大误差。我们表明,我们的方法适合在空心环境和条件下安全导航,这些环境和条件与最初对网络训练的条件不同。
translated by 谷歌翻译
多对象跟踪(MOT)是一项具有挑战性的任务,涉及检测场景中的对象并通过一系列帧跟踪它们。由于时间阻塞以及一系列图像序列的变化,评估此任务很困难。 Kitti等数据集上基准MOT方法的主要评估度量已成为高阶跟踪准确性(HOTA)度量,该指标能够更好地描述MOTA,DETA和IDF1等指标的性能。点检测和跟踪是一项密切相关的任务,可以将其视为对象检测的特殊情况。但是,评估检测任务本身(点距离与边界框重叠)存在差异。当包括时间维度和多视图方案时,评估任务变得更加复杂。在这项工作中,我们提出了一个多视图高阶跟踪指标(MVHOTA),以确定多点(多企业和多级)检测的准确性,同时考虑到时间和空间关联。 MVHOTA可以解释为检测,关联和对应准确性的几何平均值,从而为每个因素提供相等的权重。我们通过以前有组织的医疗挑战中的公开内窥镜检测数据集证明了用例。此外,我们与此用例的其他调整后的MOT指标进行比较,讨论MVHOTA的属性,并展示提出的对应准确性和闭塞指数如何促进对闭塞处理方法的分析。该代码将公开可用。
translated by 谷歌翻译
当前的深度学习方法显示出良好的分布概括性能,但在分布外的概括方面挣扎。正如我们在许多智能测试中所发现的那样,在涉及抽象关系(例如识别序列中的规则)的任务中尤其如此。最近的工作探索了如何强迫关系表示与感觉表示的区别,这在大脑中似乎是这种情况,可以帮助人工系统。在这项工作的基础上,我们进一步探索并正式化了关系和感官细节的“分区”表示所提供的优势,以及这种归纳偏见如何帮助在新遇到的环境中重新组建学习的关系结构。我们介绍了一个基于相似性分数的简单体系结构,我们将其命名为组成关系网络(Corelnet)。使用此模型,我们研究了一系列的归纳偏见,以确保从感觉数据中学习并明显地了解抽象关系,并探索它们对一系列关系心理物理学任务的分布概括的影响。我们发现,简单的体系结构选择可以超越现有的模型,而在分布式概括中。总之,这些结果表明,从其他信息流中分配关系表示形式可能是一种简单的方法,可以在执行分布外的关系计算时增强现有网络体系结构的鲁棒性。
translated by 谷歌翻译
We address the problem of designing stabilizing control policies for nonlinear systems in discrete-time, while minimizing an arbitrary cost function. When the system is linear and the cost is convex, the System Level Synthesis (SLS) approach offers an effective solution based on convex programming. Beyond this case, a globally optimal solution cannot be found in a tractable way, in general. In this paper, we develop a parametrization of all and only the control policies stabilizing a given time-varying nonlinear system in terms of the combined effect of 1) a strongly stabilizing base controller and 2) a stable SLS operator to be freely designed. Based on this result, we propose a Neural SLS (Neur-SLS) approach guaranteeing closed-loop stability during and after parameter optimization, without requiring any constraints to be satisfied. We exploit recent Deep Neural Network (DNN) models based on Recurrent Equilibrium Networks (RENs) to learn over a rich class of nonlinear stable operators, and demonstrate the effectiveness of the proposed approach in numerical examples.
translated by 谷歌翻译
深神经网络可能会脆弱,并且对小输入扰动可能会导致输出发生重大变化。在本文中,我们采用收缩理论来改善神经odes的鲁棒性(节点)。如果所有具有不同初始条件的解决方案相互融合,则动态系统是合同的。结果,随着时间的推移,在初始条件下的扰动变得越来越少。由于在节点中,输入数据对应于动态系统的初始条件,因此我们显示合同性可以减轻输入扰动的效果。更准确地说,受到哈密顿动力学的节点的启发,我们提出了一类收缩性汉密尔顿节点(CH节点)。通过正确调整标量参数,CH节点可以通过设计确保合并性,并且可以使用标准反向传播进行培训。此外,CH-Nodes享受内置的非爆炸梯度保证,这确保了良好的培训过程。最后,我们证明了CH节点在MNIST图像分类问题上使用嘈杂的测试数据的鲁棒性。
translated by 谷歌翻译